OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation
OPD-Evolver：基于在线策略蒸馏训练整体智能体进化能力
🧭 整体代理进化 · 在线策略蒸馏 ★ 深度解读
LV-NUS Lab · FDU · PKU · Bytedance Inc.
提出快慢双环框架，将结果校准的记忆归因与特权后见蒸馏结合，同时训练经验选择、利用、撰写和管理四种进化能力
📌 工作参考价值（4 点）
- 多级记忆分层与选择：将代理经验按轨迹、技巧、技能、工具分四级存储，并用可学习的 Selector 筛除低价值记忆，可直接用于推荐系统的用户行为记忆或搜索历史管理，避免上下文噪音。
- 结果校准的归因监督：用环境反馈（任务成功/失败）校准记忆价值，生成密集后见标签，可迁移到对话推荐或交互式搜索中对历史交互片段的价值评估。
- 在线策略自蒸馏框架：让学生在自己生成的状态上模仿特权教师的行为，实现选择、执行、撰写、维护四种能力的联合训练，适用于需要持续进化的推荐代理或商品描述生成代理。
- 记忆写入的质量控制：训练代理只生成高未来效用的记忆，避免“记忆污染”，可借鉴到用户标签或知识图谱的自动更新中，确保新增信息对下游任务有正收益。